Dataset Distillation by Influence Matching
影响力匹配驱动的数据集蒸馏
🧭 数据集蒸馏 · 影响力匹配
HKU · CUHK · Stanford
通过结果对齐合成数据的影响力，替换传统的梯度或轨迹匹配，性能显著提升
📌 工作参考价值（4 点）
- 影响力评估可用于识别用户交互数据中最重要的样本，实现训练集压缩或噪声过滤，降低存储和训练成本。
- 合成数据集蒸馏思想可构建紧凑的用户行为摘要，在在线推荐服务中减少上下文长度或 KV cache 占用，提升推理效率。
- 可微影响力估计器可集成到推荐模型训练中，实时评估样本梯度贡献，实现动态课程学习或难例挖掘。
- 联邦推荐场景下，客户端上传蒸馏后的合成数据而非原始隐私数据，兼顾隐私保护与模型效用。